เมื่อ ค.ศ. 1161 อดีตจักรพรรดิโกะ-ชิระกะวะ ทรงรับไทระ โนะ ชิเงะโกะ (平滋子) น้องสะใภ้ของไทระ โนะ คิโยะโมะริ เข้ามาเป็นสนมองค์ใหม่ แล้วประสูติพระโอรสคือองค์ชายโนะริฮิโตะ (憲仁親王) ในขณะที่จักรพรรดินิโจทรงยังไม่มีพระโอรส จักรพรรดินิโจจึงทรงเกรงว่าอดีตจักรพรรดิจะให้องค์ชายโนะริฮิโตะเป็นผู้สืบทอดต่อจากพระองค์ ใน ค.ศ. 1164 จักรพรรดินิโจมีพระโอรสในที่สุด จึงทรงรีบสละราชบัลลังก์ให้แก่พระโอรสขึ้นครองราชย์เป็นจักรพรรดิโระกุโจ อดีตจักรพรรดินิโจสวรรคตในปีต่อมา ค.ศ. 1165 ด้วยความช่วยเหลือของคิโยะโมะริ อดีตจักรพรรดิโกะ-ชิระกะวะทรงให้จักรพรรดิโระกุโจสละราชสมบัติใน ค.ศ. 1168 แล้วมอบให้แก่องค์ชายโนะริฮิโตะ ขึ้นครองราชย์เป็นจักรพรรดิทะกะกุระ